强化学习 · 第三章 · 专题动画
从一组方程
到一条最优策略
上一讲把“什么算好”折成了一行递归;这一讲把它原样塞进期望,长出一组能解的方程;再把“按策略平均”换成挑最好的动作,得到最优策略。
① 期望方程
② 五台阶
③ 备份图
④ V/Q 互推
⑤ 矩阵解
⑥ 两状态
⑦ 最优方程
⑧ 决策图
上一讲的最后一行
Gt = rt + γGt+1
这行递归只说清“回报怎么拆”。
再对随机性取一次期望,它就是贝尔曼方程:
无穷多条轨迹,压成一组有限的线性方程。
逐条轨迹去算无穷和
→
解一组有限方程,一次算完
符号沿用上一讲:π 策略(派)· P 转移 · R 奖励 · γ 折扣 · V / Q 状态价值与动作价值
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
Vπ(s) = 𝔼π[ Gt | st = s ]
V 是上一节算出来的状态价值:它只回答一件事——站在 s 有多好,也就是之后一路按策略 π 走、平均能拿到的回报。
π
第一层随机:动作是抽出来的
在 s 上按 π(a|s) 掷骰子决定做哪个动作——这层随机来自智能体自己。
P
第二层随机:下一状态也是抽出来的
动作定了,落到哪个 s′ 还要按 P(s′|s,a) 掷骰子——这层随机来自环境。
两个 Σ外层 Σaπ(a|s) 按策略把各动作加权,内层 Σs′P(s′|s,a) 按转移把各下一状态加权——两层权重各自加起来都是 1。
期望方程Vπ(s) = Σaπ(a|s) [ R(s,a) + γ Σs′P(s′|s,a) Vπ(s′) ]
读法:对每个动作按 π 加权,括号里是“这一步的奖励,加上打了折的下一状态价值期望”。两个 Σ 就是那两层随机。
白话一个状态的价值 = 这一步能拿到的奖励 + 打了折的下一步价值,外面套两层“按概率平均”。
打个比方像估一份工作的年收入:先按“能拿到哪类岗位”的概率加权(π),每类岗位里再按“年终奖发不发”的概率加权(P)——两层骰子叠在一起。
03.2 · 把推导拆成五个台阶
三行变五个台阶:每一阶换一件工具
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
白话三行长成五个台阶:拆递归 → 拆奖励 → 拆将来 → 认出尾巴;五步全是等号,没有一步是“差不多”。
打个比方像把一笔钱分五道手续转进账户:每一道都换一个窗口(定义 / 线性性 / 全期望 / 全期望 / 马尔可夫性),少走一道,钱就停在半路。
03.3 · 备份图
一次“备份”:把后继的价值回填进来
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
拿两状态算例,真备份一次
V(s2) = 1 + 0.9 [ 0.5·V(s1) + 0.5·V(s2) ]
= 1 + 0.9 × (0.5×6.2069 + 0.5×6.8966)
= 1 + 0.9 × 6.5518
= 6.8966 ← 又回到自己
不动点
把已经成立的 V 再备份一次,数值不动;方程要的正是这个点。
打个比方把孩子的各科成绩按学分折算成家长的预期总分——折一次,就是一个备份。
同一张图,三种展开深度
DP 全宽备份·
MC 整条轨迹·
TD 单步单样本
骨架一样,只是“展开多深、全枚举还是采样”不同。
03.4 · V 版与 Q 版
多写一层 π,就得到 Q 版
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
V 版V:已定策略
Vπ(s) = Σaπ(a|s) [ R(s,a) + γ Σs′P(s′|s,a) Vπ(s′) ]
状态价值:动作已经被 π 平均掉,只剩一个数——站在 s 有多好。
把 Vπ(s′) 展开成 Σa′π(a′|s′)Qπ(s′,a′)
多写一层 π
Q 版Q:先做 a 再按策略
Qπ(s,a) = R(s,a) + γ Σs′P(s′|s,a) Σa′π(a′|s′) Qπ(s′,a′)
动作价值:先做定动作 a,拿到本步奖励;到了 s′ 之后才按 π 挑动作。
辨一句话分清
V已定策略:进门就按 π 走
Q先做 a,再按策略走
比打个比方
V 像问“这套房子平均能收多少租金”;Q 像“先定租给甲还是乙,再算平均收益”。
用为什么工程上偏爱 Q
拿到 Q,改进策略只要取最大,连模型 P 和 R 都不必问。
去向
SARSA按 π 采样一条转移去做备份
·
Q-Learning把内层 π 换成 max
·
下一步要讲的“最优方程”就是这一步替换
03.5 · 矩阵形式与闭式解
一组线性方程:移项、求逆、解完
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
1状态价值定义
V(s) = 𝔼[ Gt | St = s ]
›
›
3期望分两层
Σaπ(a|s) → Σs′P(s′|s,a)
›
4n 个状态排一起
Vπ = Rπ + γPπVπ
向量形式Vπ = Rπ + γPπVπ
Rπ 是按 π 平均出来的奖励;PπV 就是对下一状态按 P 求和,正好一次矩阵乘向量。
移项(I − γPπ) Vπ = Rπ
把 V 从右边搬到左边、合并同类项;I 是单位矩阵,左边于是只含已知量。
闭式解Vπ = (I − γPπ)−1 Rπ
两边同乘逆矩阵:先求逆、再乘 Rπ,一步算完,不必迭代。
两状态算例:逐格看 I − γPπ
格子 (i,j) =(i=j 时记 1,否则记 0)− γ × Pπ(sj|si)
| (1,1) | s1 → s1 | Pπ = 0 | 1 − 0.9×0 = 1.00 |
| (1,2) | s1 → s2 | Pπ = 1 | 0 − 0.9×1 = −0.90 |
| (2,1) | s2 → s1 | Pπ = 0.5 | 0 − 0.9×0.5 = −0.45 |
| (2,2) | s2 → s2 | Pπ = 0.5 | 1 − 0.9×0.5 = 0.55 |
(2,1) 的 0.5:在 s2 执行 a1 后落到 s1 的概率;(2,2) 的 0.5 是同一动作留在 s2。
det = 1.00×0.55 − (−0.90)(−0.45) = 0.55 − 0.405 = 0.145 ≠ 0 ⇒ 可逆。
1
det ≠ 0 ⇒ 一定可逆
两条方程平行,det 才会是 0;γ < 1 保证 ‖γPπ‖ < 1,所以永不平行。本例 γ = 1 时 det 恰好为 0。
2
代回去:左右确实相等
1.00×6.2069 − 0.90×6.8966 = 0
−0.45×6.2069 + 0.55×6.8966 = 1.00
3
直接解 vs 值迭代
求逆 O(n³):一次算完,但要全模型;值迭代每轮 O(n²):几十上百轮,只需会算 P、R。状态少解方程,状态多就迭代。
为什么 γ 是关键
(I − γPπ)−1 = I + γP + γ²P² + ⋯
第 k 项 = k 步转移概率 × γk:折扣让远项越来越轻,这一串才收得住。
03.6 · 两状态 MDP 全流程(上)
列式 → 消元 → 矩阵:三条路指向同一个数
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
① 列方程(每个状态一条)
V(s₁) = 0.9 · V(s₂)
V(s₂) = 1 + 0.9 [ 0.5 V(s₁) + 0.5 V(s₂) ]
| 0.9 | 折扣 γ:两行里的 0.9 都是它(题给 γ = 0.9) |
| 1 | s2 的即时奖励 R(s2,a1):在 s2 做一步就拿 1 |
| 0.5 | 回 s1 的转移概率 P(s1|s2,a1):做 a1 有一半回到 s1 |
| 0.5 | 留 s2 的转移概率 P(s2|s2,a1):另一半留在原地 |
第一行其实还藏着两个数,被省掉了:奖励 R(s1,a1) = 0、转移概率 P(s2|s1,a1) = 1(s1 只有一条出路)。两行都不写 π:全片只有 a1 一个动作,π(a1|s) = 1,加权平均退化成乘 1。
② 代入消元:把 V(s₁) 塞进第二式
V(s₂) = 1 + 0.45 V(s₁) + 0.45 V(s₂)
0.55 V(s₂) − 0.45 × 0.9 V(s₂) = 1
0.55 − 0.405 = 0.145
0.145 V(s₂) = 1 → V(s₂) = 200/29 ≈ 6.8966
回代:V(s₁) = 0.9 × 6.8966 = 180/29 ≈ 6.2069
③ 矩阵视角:同一个 0.145
I − γP = [ 1, −0.9 ; −0.45, 0.55 ]
det = 1×0.55 − 0.405 = 0.145
逆 = (1/0.145)[ 0.55, 0.9 ; 0.45, 1 ]
V = 逆 × [0, 1] = [ 6.2069, 6.8966 ]
诺伊曼级数对得上
V = R + γPR + γ²P²R + ⋯
前几项部分和 = 0 → [0, 1] → [0.9, 1.45] → [1.305, 2.058],正好是值迭代的前几轮——闭式解与迭代解在这里接上了。
03.7 · 两状态 MDP 全流程(下)
不解方程,反复备份也能到
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
④ 值迭代逐轮表(V0 全取 0)
代入式 Vk+1(s) = R(s) + γ Σs′ P(s′|s)·Vk(s′)
| k | V(s₁) | V(s₂) | 相邻差 |
| 0 | 0.0000 | 0.0000 | — |
| 1 | 0.0000 | 1.0000 | 1.0 |
| 2 | 0.9000 | 1.4500 | 0.90 |
| 3 | 1.3050 | 2.0575 | 0.61 |
| 4 | 1.8518 | 2.5131 | 0.55 |
| 5 | 2.2618 | 2.9642 | 0.45 |
| 10 | 3.8825 | 4.5720 | 0.26 |
| 20 | 5.3964 | 6.0860 | 0.090 |
| 40 | 6.1084 | 6.7980 | 0.011 |
| 63 | 6.1982 | 6.8878 | 9.7e-4 |
| 84 | 6.2059 | 6.8956 | 1.1e-4 |
| ∞ | 6.2069 | 6.8966 | 0 |
判据:相邻差 < 1e-3 在第 63 轮达成;真误差 < 1e-3 要到第 84 轮。差的那 21 轮,正是 γ/(1−γ) = 9 倍要付的账。
⑤ 手算前两轮:右边只代上一轮的数
k=0V0(s1) = 0 V0(s2) = 0 ← 初值全取 0
k=1V1(s1) = 0 + 0.9 × V0(s2) = 0 + 0.9 × 0 = 0 ← 借到的还是 0
V1(s2) = 1 + 0.9 × (0.5×0 + 0.5×0) = 1 ← 后继全 0,只剩奖励
k=2V2(s1) = 0 + 0.9 × V1(s2) = 0 + 0.9 × 1 = 0.9 ← 借到 1,折成 0.9
V2(s2) = 1 + 0.9 × (0.5×0 + 0.5×1) = 1.45 ← 平均 0.5,折成 0.45
⑥ 一次备份的手算(从第 63 轮再算一步)
取:V(s₁) = 6.1982,V(s₂) = 6.8878
平均:0.5×6.1982 + 0.5×6.8878 = 6.5430
乘 γ 加 R:1 + 0.9 × 6.5430 = 6.8887
只挪了 0.0009,离真值还差 0.0088
| 解法 | 做法 | 什么时候用 |
| 直接解 | 求 (I − γP)−1R,一次算完(det = 0.145) | 状态少,要精确值 |
| 迭代解 | 反复备份,63 轮够用、84 轮到真值 | 状态多,可接受近似 |
| 采样解 | 用轨迹样本平均代替期望 | 没有模型 P、R |
三条路,同一个方程
直接解、迭代解、采样解算的是同一个 (I − γP)V = R;区别只在“用不用模型、要不要精确”。
6.2069 / 6.8966
03.8 · 贝尔曼最优方程
把“按 π 平均”换成“对 a 取最大”
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
V* 版V*(s) = maxa [ R(s,a) + γ Σs′P(s′|s,a) V*(s′) ]
读法:在 s 上挑“当前奖励 + 未来价值期望”最大的那个动作;这个 max 挑的是 a。
Q* 版Q*(s,a) = R(s,a) + γ Σs′P(s′|s,a) maxa′ Q*(s′,a′)
读法:动作已定,只剩环境这一层期望;max 挑的是 s′ 上要做的 a′,两者别混。
1第一拍:在 s 上选动作
此刻只知道 s,不知道会落到哪——所以这一拍是 maxa(最优版)或 Σaπ(期望版)。
2第二拍:环境掷骰子
动作定了,落到 s′ 仍按 P(s′|s,a) 随机——这一拍是转移求和,谁也不能替环境决定。
3第三拍:到了 s′ 再决定
这才是 Q* 里那个 maxa′;顺序反了就是把“后果”当“前提”,等于算命。
max 也压缩
|max f − max g| ≤ max |f − g|
max 不放大差距,每轮差距照样按 γ 缩:值迭代一定收敛;但它不保证最优动作唯一。
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
容易混的地方“可逆”只保证方程有解,不代表该去求逆:n 上万时,求逆的代价比迭代高好几个量级;“能算”和“该算”是两回事。
03.10 · 两组方程的分工
一个评价,一个求最优
① 期望方程›
② 五台阶›
③ 备份图›
④ V/Q 互推›
⑤ 矩阵解›
⑥ 两状态›
⑦ 最优方程›
⑧ 决策图
| 对比项 | 贝尔曼期望方程 | 贝尔曼最优方程 |
| 前提 | 策略 π 已给定 | 不需要策略,直接求最优 |
| 动作处理 | 按 π(a|s) 加权平均 | 对 a 取 max |
| 算子性质 | 线性(仿射),可写成矩阵求逆 | 非线性(含 max),只能迭代 |
| 解的含义 | Vπ:这套策略值多少 | V*:所有策略中的上界 |
| 典型算法 | 策略评估 · TD 预测 | 值迭代 · Q-Learning |
1
期望方程 = 把回报递归塞进期望
每个状态一条方程:V = Σπ [ R + γ ΣP V ],两个 Σ 分别来自策略与环境。
2
两状态算例 = 三条路会合在同一个数
消元、求逆、值迭代都指向 6.2069 / 6.8966;值迭代第 84 轮才把真误差压到 1e-3。
3
最优方程 = 把期望换成 max
解出 Q* 再贪心一次就得到最优策略;max 必须留在期望之后。
递归 → 期望方程 → 解与迭代 → 最优方程 → 最优策略
一行递归长出一整套理论;下一章,从方程到算法:策略迭代与值迭代
片尾 · 出品说明
朝露记出品
内容梳理
讲解配音
动画编排
第三章 · 完
下一章 · 从方程到算法:策略迭代与值迭代
解